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(57) Abstract 

The invention relates to a method for determining the position of text lines in text recognition tasks, wherein the distribution of 
brightness of a detected image segment is determined along a vertical and said distribution of brightness is then filtered, wherein the 
maximum and minimum values of the function thus obtained are determined, on the basis of which extreme threshold values are calculated 
that are used for differentiating between text lines and line spacing. The method is particularly advantageous for electronic hand-held read 
devices. 



(57) Zusammenfassung 

Es wird ein Verfahren zur Bestimmung der Lage von Textzeilen bei Texterkennungsaufgaben angegeben, bei dem die Hel- 
ligkeitsverteilung eines erfaBten Bildausschnittes entlang der Vertikale ermittelt wird und diese HeUigkcitsverteilung gefiltert wird, bei dem 
Maximumwerte und Minimumwerie der solcherart erhaltenen Funktion ermittelt werden und auf der Grundlage dieser Extrema Schwellw- 
erte berechnet werden, die als Grundlage ftir die Unterscheidung zwischen Textzeile und Zeilenzwischenraum dienen. Das Verfahren ist 
besonders vorteilhaft bei handgefuhrten elektronischen Lesevorrichtungen einsetzbar. 
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Verfahren zur Bestimmung der Lage von Textzeilen bei 
Texterkennungsauf gaben 

Die Erfindung betrifft ein Verfahren zur Bestimmung der Lage 
5 von Textzeilen bei Texterkennungsauf gaben . 

Bei der automatischen Erkennung von Texten, d.h. bei der 
Umwandlung der grafischen Information eines Dokumentes in 
Textzeichen, die mittels elektronischen Textverarbeitungs- 
10 programmen weiterverarbeitet werden konnen, ist eine 
wesentliche Voraussetzung fur einen erf oigreichen 
Erkennungsvorgang die genaue Bestimmung der Lage und der 
Grofte der einzelnen Zeichen. Voraussetzung dafur ist wiederum 
die Kenntnis der Lage und der Matte der Textzeilen. 

15 

Bei handgefuhrten Lesevo.rrichtungen kommt es uberdies zu- 
einem nichtlinearen Verlauf der Textzeilen in dem erfafcten 
Bildausschnitt . Hier besteht die Notwendigkeit , den Verlauf 
einer Textzeile zu bestimmen. 

20 

Der Erfindung liegt daher die Aufgabe zugrunde, ein Verfahren 
anzugeben, mit dem Lage und Verlauf von Textzeilen bestimmt 
werden konnen. 

25 Dies geschieht erf indungsgemaft mit einem Verfahren der 

eingangs genannten Art, bei dem die Helligkeitsverteilung 
eines erfaftten Bildausschnittes entlang der Vertikale 
ermittelt wird und diese Helligkeitsverteilung gefiltert 
wird, bei dem Maximumwert und Minimumwert der solcherart 

30 erhaltenen Funktion ermittelt werden und auf der Grundlage 
dieser Extrema Schwellwerte berechnet werden, die als 
Grundlage fur die Unterscheidung zwischen Textzeile und 
Zeilenzwischenraum dienen. Das erf indungsgemafte Verfahren 
ermoglicht die Feststellung der Zeilenlage und Hohe mit 

35 geringem Aufwand und damit sehr schnell, sodaft diese 

Information unmittelbar erhaiten wird woaurch ein schneller 
Erkennungsvorgang ermoglicht wird. Dies ist besonders bei 
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Lesevorrichtungen von Bedeutung, die nur begrenzte 
elektronische Speicher zur Verfugung haben und deshalb eine 
rasche Umsetzung der speicherintensiven Bildinf ormat ion in 
Text information noch wahrend der Bildauf nahme erfordern. 

Vorteilhaft ist eine Ausgestaltung des Verfahrens in der 
Weise, daft ein Zeiienzwischenraurn dann festgestellt wird, 
wenn die Funktion eine Kombination eines Maximums mit einem 
Minimum aufweist, bei der das Minimum einen Wert kleiner als 
Funktionsminimvm + Anzahl der Bildpunkte uber die Breite des 
Bildausschnittes/15 + 2*Anzahl der Bildpunkte uber die Breite 
des Bildausschnittes/15 * Funktionsmaximum/ Anzahl der 
Bildpunkte uber die Breite des Bildausschnittes aufweist und 
der Abfall der Funkt ionswerte nach dem Maximum einen Wert 
grofter (Funktionsmaximum - Funktionsminimum) /2 aufweist. 
Diese Ausgestaltung hat sich in der Praxis durch sehr gute 
Ergebnisse bewahrt.'V 

Ebenfalls vorteilhaft ist eine weitere Ausgestaltung des 
Verfahrens in der Weise, daB zur Feststellung des linken 
Rands einer Zeile die Helligkeitsverteilung eines erfa/iten 
Bildausschnittes entlang der Horizontale ermittelt wird und 
die solcherart erhaltene Funktion den Zeilenbeginn durch 
einen sprunghaften Anstieg des Funktionswertes darstellt. 
Damit ist der Zeilenbeginn auf einfache Weise mit geringem 
Aufwand zu ermitteln. Weiterhin kann fur die Ermittlung der 
Lage der Textzeilen gewahrleistet werden, daft dabei nur 
Bilder berucksicht igt werden, die tatsachlich Textzeilen 
enthalten und ein Benutzerf ehler wie z.B. das Ansetzen des 
Lesestiftes zu weit links von dem Zeilenbeginn die 
Zeilenermittlung nicht beeinfluBt. 

Gunstig ist es, wenn nach der erstmaligen Feststellung der 
Lage einer Zeile der weitere Verlauf derselben durch 
Auswertung der Information uber die erkannten Textzeichen 
ermittelt wird. Durch die Auswertung des Ergebnisses der 
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Zeichenklassif ikat ion ist eine besonders genaue Bestimmung 
des Zeilenverlauf s moglich. 

Die Erfindung wird anhand von Figuren naher erlautert. 
5 Es zeigen beispielhaf t : 

Fig.l einen Textausschnitt wie er typisch von einer 
handgef uhrten Lesevorrichtung erfaftt wird, sowie das daraus 
ermittelte Hystogramrn und 

Fig. 2 das gefilterte Hystogramrn mit den einget ragenen 
10 Parametern zur Beurteilung des' Bildes. 

Der Ablauf des erf indungsgemafcen Verfahrens ist wie folgt: 
Zu dem erfafiten Bildausschnitt wird einr--. Zei lenhis togramm 
ermittelt. Dabei werden zu jeder Zeile die Werte aller 
15 Bildpunkte dieser Zeile (0 fur Weift und 1 fur Schwarz) 
aufsummiert. Ergebnis ist eine Funktion f(y) mit 

Width-\ 

f(y)= Y,WackPixel) wobei 

/=0 

y den Zeilenindex des Bildes bedeiitet 

20 Width Breite (Spaltenanzahl ) des Bildausschnittes angibt. 

Diese Funktion hat bei Vorliegen eines Textes einen typischen 
Verlauf wie er beispielhaft in Fig. 1 dargestellt ist. 
In einem weiteren Schritt erfolgt eine Filterung gemaft 

Z(/0'+o*g(0) 

Index im Zeilenhistogramm 

Gewichtung entsprechend einer exponent iellen 
Glattungskurve 
Index der Glattungskurve 



25 



mit 

y 

G 



30 i 
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Wahrend des Filtervorganges werden auch der absolute 
Maximumwert Valuemax d.h. die Anzahl der schwarzen Bildpunkte 
(Black Pixel) der dunkelsten Zeile und das absolute Minimum 
Valuemin d. h. die Anzahl der schwarzen Bildpunkte (Black 
Pixel) der hellsten Zeile ermittelt. 

Aus diesen beiden Werten werden Parameter fur die Beurteilung 
des Bildes abgeleitet. Diese sind: 

Grvbenlimit = {Valuemax - Valuemin) /2 

mindestens aber Anzahl der Bildpunkte uber die Breite des 
Bildausschnittes/30 

Minimarand = Valuemin + Anzahl der Bildpunkte uber die Breite 
des Bildausschnittes/15 

hochstens aber 2* Anzahl der Bildpunkte uber die Breite des 
Bildausschnittes/15-. 

Minimaschwelle = Minimarand + ( 2*Anzahl der Bildpunkte uber 
die Breite des Bildausschnittes/15 * (Valuemax/ Anzahl der 
Bildpunkte uber die Breite des Bildausschnittes) ) 
hochstens aber 3* Anzahl der Bildpunkte uber die Breite des 
Bildausschnittes/15 

> 

Anhand der Funktion f'(y) und der ermittelten Schwellwerte 
wie sie beispielhaft in Fig. 2 dargestellt sind, wird nun das 
erfaftte Bild hinsichtlich des Vorliegens von Textzeilen und 
Zeilenzwischenraumen beurteilt. 

Dazu wird der Kurvenverlauf darauf untersucht, ob Werte 
vorliegen, die geringer als der Parameter Minimaschwelle 
sind. 1st dies der Fall, dann wird der betroffene Bereich als 
gultiges Minimum und damit als moglicher Zeilenzwischenraum 
qualif iziert . 

Ein tatsachlicher Zeilenzwischenraum liegt jedoch nur dann 
vor, wenn durch ein angrenzendes Maximum mit einer gewissen 



WO 00/19358 PCT/EP99/06842 



Auspragung das Vorhandensein einer Textzeile angezeigt wird. 
Diese gultigen Maxima sind durch ein anschlieftendes Absinken 
des Kurvenwertes um einen Betrag > Grubenlimit definiert. 

Das Zusammentref fen eines gultigen Maximums mit einem 
gultigen Minimum kennzeichnet den Obergang von einer 
Textzeile zu einem Zeilenzwischenraum. Zur genauen Bestimmung 
dieses Oberganges dient der Parameter Minimarand. 

Der Punkt in dem die Kurve zwischen einem giiltigen Maximum 
und einem gultigen Minimum diese Schwelle schneidet, wird als 
Zeilenkante festgelegt. 

Zur Bestimmung des linken Randes einer Zeile wird ein 
Spaltenhistogramm gemaB 

Height-\ 

/(*) = 2l(BlackPixel) 

x Spaltenindex des Bildausschnittes 

Height . . . .Bild-Hohe 

erstellt, in Worten die Farbinf ormation der Bildpunkte jeder 
Spalte des erfaftten Bildausschnittes wird aufsummiert. Der 
linke Textrand ist (bei Vorhandensein zumindest einer Zeile) 
durch einen sprunghaften Anstieg des Funktionswertes f(x) 
definiert. 

Die Nachfuhrung der Zeilen, d.h. die Information uber den 
weiteren Verlauf der Zeilen, die besonders bei handgef uhrten 
Lesevorrichtungen aufgrund der bei diesen auftretenden 
Schwankungen von Bedeutung ist, erfolgt auf der Grundlage der 
Position der erkannten Zeichen. 

Dazu werden die erkannten Zeichen in folgende Groftengruppen 
eingeteilt : 

Kleine Zeichen (z.B. 'a') 0, 7*Zeilenh6he 

Grofte Zeichen (z.B. ^A'^'g') Zeilenhohe 
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Ubergrofte Zeichen {z.B. x [ \ ' j ' ) Zeilenhohe+0, 3*Zeilenhohe 
(Unterlangen) 

Sonderzeichen: die Zeichen lassen sich von der Grofte nicht 
eindeut ig zuordnen 

Fur die Ermittlung der neuen Text zeilenunter kante werden 
folgende Zeichengruppen unterschieden : 

Baseline-Zeichen (z.B. y A',\'): die Zeichenunterkante 
entspricht der Text zeilenunterkante, unabhangig von der Grofte 
des Zeichens; 

Unterlangenzeichen (z.B. *g' , ' D : die Zeichenunterkante 
entspricht der Unterlangengrenze, unabhangig von der Grofte 
des Zeichens; 

Sonderzeichen: diese Zeichen lassen sich bezuglich ihrer 
Unterkante nicht eindeutig zuordnen. 

Auf der Grundlage dieser Zuordnungen und einem im Zuge des 
Klassif ikationsverfahrens erhaltenen Wahrscheinlichkeits-wert 
G betreffend die korrekte Klassif izierung des Zeichens 
wir'd nun die neue Zeilenhohe Height wie folgt ermittelt: 

G = Wahrscheinlichkeit * C YC_ MAX_ WEIGHT 

CYC_MAX_EXTRPAR-I 

£ OldHeight[i) + NewHeight * G 

Height = ^ , 

CYC_MAX_EXTRPAR + G 



« Gewichtung der aus dem aktuellen 

Zeichen abgeleiteten Zeilenhohe 

Wahrscheinlichkeit Wahrscheinlichkeit der korrekten 

Zeichenklassif ikation (Wertebereich zwischen 0 und 1) 
CYC_MAX_WEIGHT Maximale Gewichtung der neuen 

Zeichenposition (z.B.: 5) 

Hei 9ht Nachgefuhrte Zeilenhohe 

(Groftbuchstabenhohe) 
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CYC_MAX_EXTRPAR GroGe des Ringpuffers fur die 

Mittelung (z.B. : 3) 

OldHeight [ ] Ringpuf f er 

NewHeight Aus aktuellem Zeichen abgeleitete 

Zeilenhdhe (Groftbuchstabenhohe) 

i Index im Ringpuffer 

Die Ermittlung des Verlaufs der Text zeilenunter kante erfolgt 
gemafc: 



G = Wahrscheinlichkeit + — ? 1 * CYC MAX WFJfiHT 

I CYC MAX WEIGHTS - MA - wtluH J 



_ Oldlncrease + Newlncrease * G 
Increase = 

1 + G 

Increase * DeltaX + 50 



Base = NewBase + 



100 



G Gewichtung der neuen Zeichenposition 

Wahrscheinlichkeit Wahrscheinlichkeit der korrekten 
Zeichenklassif ikation 

CYC_MAX_WEIGHT Maximale Gewichtung der neuen 

Zeichenposition (z.B.: 5) 

Increase Nachgefuhrte aktuelle Steigung der 

Baseline in % 

Oldlncrease Vorherige Steigung der Baseline in % 

Newlncrease Aus Postition des aktuellen Zeichens 

errechnete Steigung der Baseline in % 

Base Nachgefuhrte Baselineposit ion {gerundet 

auf ganzzahligen Wert) 

NewBase Aus Position des aktuellen Zeichens 

errechnete Baselineposition 

DeltaX X-Abstand im Image der beiden 

Mittelpunkte der zuletzt extrahierten Zeichen 

Die 'Increase' wird durch das Plausibili tatslimi t 
CYC_MAX_ZEILENVERSATZ (im Pocket Reader: 15%) limitiert. 
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Fig. 1 
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Vcfofferttlchung, die elcn aiif dne mOndteh© Oflenbanm 
uo . , *ne Berytn«0> ejne AuaetelkJig oder andere Maenahmen beHeht 
"P* Veroffentltehmg, de vor dem kitematfonaten AnmeJdedatun, aber nach 
dem beAfunmchten PH <-«+tfl<»*kiti im .»>#Mwu<t u^*^. i_» 



"X* Ver6ffen*Wwig wn beeonderer BedeutuxT de beanapruchte Erflndmg 

^^5^ ,lewrVert,Tert,Wui O nWaterwioderauf 
erIWerteoher Tafi^ett beiuhend betraohtet werden 

"Y* Vertfferrtkjr^g von beeonderer Bedcwtmg; de bee/iapfuchte Erflndmg 
kam nteht ate auf erfrrierleoher Tftflgkelt berurmd betrachtet 
werdea wenrt de Vertttentlct K jng nit dner oder mehreren anderen 
VefWfendchuig^dew Kateoorte In Verbtodu* gebraoht vrfrd und 
deee Vertandwg filr etien Fachmann nahefegend Tat 

-A' Veroffenflfchuig, de MtgJled denefcen PaJentfamlto let 



20. Dezember 1999 


AbaendedatundeelntematlonaJen Recherchenbertchta 

11/01/2000 


Name und Postanachrtft der Irrtemaflonaien RecheicnenbehoVde 
Europeischee Patentamt P.R 5818 Paterrtean 2 
NL-2280HVRI)ewtlk 
Tel (+31-70) 540-5040. Tx. 31 661 epo nl, 
Fax (+31-70) 34O-3016 


Bet^crtbn&chflgter Bedensteter 

Granger, B 
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17-03-1996 
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PATENT COOPERATION TREATY 

PCT 

INTERNATIONAL PRELIMINARY EXAMINATION REPORT 

(PCT Article 36 and Rule 70) 



Applicant's or agent's file reference 
GR 98 P 7016 P 


r n]} r 1IDTWF n Ar-rir*M SeeNotificationofTransmittalofintemational Preliminary 
FOR FURTHER ACTION Examination Report (?om PCT /IPEA/416) 


International application No. 

PCT/EP99/06842 


International filing date (day/month/year) 
16 September 1999 (16.09.99) 


Priority date (day/month/year) 

30 September 1998 (30.09.98) 


International Patent Classification (IPC) or national classification and IPC 
G06K 9/32 


Applicant 

SIEMENS AKTIENGESELLSCHAFT OSTERREICH 



This international preliminary examination report has been prepared by this International Preliminary Examining Authority 
and is transmitted to the applicant according to Article 36. 



This REPORT consists of a total of 



. sheets, including this cover sheet. 



This report is also accompanied by ANNEXES, i.e., sheets of the description, claims and/or drawings which have been 
amended and are the basis for this report and/or sheets containing rectifications made before this Authority (see Rule 
70.16 and Section 607 of the Administrative Instructions under the PCT). 



These annexes consist of a total of 



. sheets. 



This report contains indications relating to the following items: 
Basis of the report 
Priority 

Non-establishment of opinion with regard to novelty, inventive step and industrial applicability 
Lack of unity of invention 

Reasoned statement under Article 35(2) with regard to novelty, inventive step or industrial applicability* 
citations and explanations supporting such statement ' 

Certain documents cited 

Certain defects in the international application 

Certain observations on the international application 



I 


I2SI 


II 


□ 


III 


□ 


IV 


□ 


V 




VI 


□ 


VII 


□ 


VIII 


□ 



Date of submission of the demand 

03 April 2000 (03.04.00) 


Date of completion of this report 

20 December 2000 (20.12.2000) 


Name and mailing address of the IPEA/EP 
Facsimile No. 


Authorized officer 
Telephone No. 



Form PCT/IPEA/409 (cover sheet) (July 1998) 



INTERNATIONAL PRELIMINARY EXAMINATION REPORT 



International application No. 

PCT/EP99/06842 



I. Basis of the report 



1. With regard to the elements of the international application:* 
| | the international application as originally filed 
the description: 

pages 3-7 

pages 

pages 



, as originally filed 

, filed with the demand 



1,2 



, filed with the letter of 3 1 August 2000 (3 1 .08.2000) 



the claims: 

pages 

pages 

pages 

pages 



, as originally filed 

, as amended (together with any statement under Article 1 9 
, filed with the demand 



1-3 



filed with the letter of 31 August 2000 (31.08.2000) 



the drawings: 

pages 

pages 
pages 



, as originally filed 

, filed with the demand 



B , filed with the letter of 



1 I the sequence listing part of the description: 
pages 

pages 

pages 



, as originally filed 

. , filed with the demand 



. , filed with the letter of 



2. With regard to the language, all the elements marked above were available or furnished to this Authority in the language in which 
the international application was filed, unless otherwise indicated under this item. 

These elements were available or furnished to this Authority in the following language which is- 

□ 

the language of a translation furnished for the purposes of international search (under Rule 23 1(b)) 

□ 

the language of publication of the international application (under Rule 48.3(b)). 

the language of the translation furnished for the purposes of international preliminary examination (under Rule 55 2 and/ 
or 55.3). 

3. With regard to any nucleotide and/or amino acid sequence disclosed in the international application, the international 
preliminary examination was carried out on the basis of the sequence listing: 

contained in the international application in written form. 

filed together with the international application in computer readable form. 

furnished subsequently to this Authority in written form. 

furnished subsequently to this Authority in computer readable form. 

The statement that the subsequently furnished written sequence listing does not go beyond the disclosure in the 
international application as filed has been furnished. 

The statement that the information recorded in computer readable form is identical to the written sequence listing has 
been furnished. 



4. 



□ 
□ 
□ 
□ 
□ 

□ 
□ 



The amendments have resulted in the cancellation of: 

the description, pages 

CX] the claims, Nos. 4 

□ 



the drawings, sheets/fig . 



5. n This re P ort ^ established as if (some of) the amendments had not been made, since they have been considered to go 
beyond the disclosure as filed, as indicated in the Supplemental Box (Rule 70.2(c)).** 

* Replacement sheets which have been furnished to the receiving Office in response to an invitation under Article 14 are referred to 
in this report as "originally filed" and are not annexed to this report since they do not contain amendments (Rule 70 16 
and 70. 17). 

* Any replacement sheet containing such amendments must be referred to under item 1 and annexed to this report. 



Form PCT/IPEA/409 (Box I) (July 1998) 



INTERNATIONAL PRELIMINARY EXAMINATION REPORT 



temational application No. 
PCT/EP 99/06842 



V. Reasoned statement under Article 35(2) with regard to novelty, inventive step or industrial applicability; 
citations and explanations supporting such statement 



I . Statement 

Novelty (N) 

Inventive step (IS) 
Industrial applicability (IA) 



Claims 
Claims 

Claims 
Claims 

Claims 
Claims 



1-3 



YES 
NO 

1-3 YES 
NO 



1-3 



YES 
NO 



2. Citations and explanations 



1. Field : Automatic text recognition. 

2. Problem : Determination of the position of text lines 
on a copy. 



3. C losest prior art : EP-A-0 702 329 describes a method 
according to the preamble of Claim 1: the brightness 
distribution of a recorded image segment is 
determined along the vertical (by bar charts along 
the lines, see abstract, third sentence) and this 
brightness distribution is filtered ("moving 
average", fourth sentence in the abstract). The 
maximum and minimum values of the function obtained 
in such a way are determined (column 5, lines 21-33 
and column 9, lines 27-41, as well as Figures 4 and 
5) and threshold values are calculated on the basis 
of these extremes, serving as a basis for the 
differentiation between text line ("baseline") and 
line spacing (the calculation is an eguation and in 
case of upstrokes and downstrokes the minimum is 
recognised as a plateau by the calculation of the 
mean) . 



Form PCT/IPEA/409 (Box V) (January 1994) 



• 



INTERNATIONAL PRELIMINARY EXAMINATION REPORT 



Rernational application No. 
PCT/EP 99/06842 



4. Solution : A spacing is found when there is a 

combination of a (local) maximum with a minimum 
which corresponds to a certain formula based on the 
(global) maxima and minima and the width of the 
image segment . 



5. Inventive step : This formula is not suggested in any 

of the available documents. 



Form PCT/IPEA/409 (Box V) (January 1994) 



PIER DIE INTERNATIONALE ZM 
F DEM GEBIET DES PATENTN^P 

PCT 

INTERN ATIONALER RECHERCHENBERICHT 

(Artikel 18 sowie Regeln 43 und 44 PCT) 



MMENARBEIT 
ENS 



Aktenzeichen des Anmelders Oder Anwalts 

GR 98 P 7016 P 


WEITERES siehe Mitteilung uber die Ubermittlung des internationalen 

Recherchenberichts (Formblatt PCT/ISA/220) sowie, soweit 
VORGEHEN zutreffend, nachstehender Punkt 5 


Internationales Aktenzeichen 

PCT/EP 99/06842 


Internationales Anmeldedatum 
(Tag/Monat/Jahr) 

16/09/1999 


(Fruhestes) Prioritatsdatum (Tag/Monat/Jahr) 

30/09/1998 


Anmelder 

SIEMENS AKTIENGESELLSCHAFT OSTERREICH et al . 



Dieser intemationale Recherchenbericht wurde von der Internationalen Recherchenbehorde erstellt und wird dem Anmelder gemaB 
Artikel 18 ubermittelt. Eine Kopie wird dem Internationalen Buro ubermittelt. 

Dieser intemationale Recherchenbericht umfaBt insgesamt _3 - Blatter. 

PH Daruber hinaus liegt ihm jeweils eine Kopie der in diesem Bericht genannten Unterlagen zum Stand der Technik bei. 



2. 
3. 



Grundlage des Berichts 

a. Hinsichtlich der Sprache ist die intemationale Recherche auf der Grundlage der internationalen Anmeldung in der Sprache 
durchgefuhrt worden, in der sie eingereicht wurde, sofem unter diesem Punkt nichts anderes angegeben ist. 

| | Die intemationale Recherche ist auf der Grundlage einer bei der Behorde eingereichten Ubersetzung der internationalen 
Anmeldung (Regel 23.1 b)) durchgefuhrt worden. 

b. Hinsichtlich der in der internationalen Anmeldung offenbarten Nucleotide und/oder Amlnosauresequenz ist die intemationale 
Recherche auf der Grundlage des Sequenzprotokolls durchgefuhrt worden, das 

| | in der internationalen Anmeldung in Schriflicher Form enthalten ist. 

| | zusammen mit der internationalen Anmeldung in computerlesbarer Form eingereicht worden ist. 

| | bei der Behorde nachtraglich in schriftlicher Form eingereicht worden ist. 

| 1 bei der Behorde nachtraglich in computerlesbarer Form eingereicht worden ist. 

| | Die Erklarung, daB das nachtraglich eingereichte schriftliche Sequenzprotokoll nicht uber den Offenbarungsgehalt der 
internationalen Anmeldung im Anmeldezeitpunkt hinausgeht, wurde vorgelegt. 

| | Die Erklarung, daB die in computerlesbarer Form erfaBten Informationen dem schriftlichen Sequenzprotokoll entsprechen, 
wurde vorgelegt. 

| | Bestlmmte Anspruche haben slch als nicht recherchlerbar erwiesen (siehe Feld I). 
| | Mangelnde Elnheitlichkelt der Erfindung (siehe Feld II). 



Hinsichtlich der Bezelchnung der Erfindung 

|"?T| wird der vom Anmelder eingereichte Wortlaut genehmigt. 
| | wurde der Wortlaut von der Behorde wie folgt festgesetzt: 



5. Hinsichtlich der Zusammenfassung 

wird der vom Anmelder eingereichte Wortlaut genehmigt. 

. , wurde der Wortlaut nach Regel 38.2b) in der in Feld III angegebenen Fassung von der Behorde festgesetzt. Der 

[ | Anmelder kann der Behorde innerhalb eines Monats nach dem Datum der Absendung dieses internationalen 

Recherchenberichts eine Stellungnahme vorlegen. 

6. Folgende Abbildung der Zeichnungen ist mit der Zusammenfassung zu veroffentlichen: Abb. Nr. I 



[X] wie vom Anmelder vorgeschlagen [^] keinederAbb. 

| | weil der Anmelder selbst keine Abbildung vorgeschlagen hat. 
| | weil diese Abbildung die Erfindung besser kennzeichnet. 



Formblatt PCT/ISAV210 (Blatt 1) (Juli 1998) 



INTERNATIONALER RECHERCHENBERICHT 



.Internationales Aktenzeichen 

T/EP 99/06842 



A. KLASSIFIZIERUNG DES ANMELDUNGSGEGENST ANDES 

IPK 7 G06K9/32 



Nach der Internationalen Patentklassifikation (IPK) oder nach der nationalen Klassifikation und der IPK 



B. RECHERCHIERTE GEBIETE 



Recherchierter Mindestprufstoff (Klassifikationssystem und Klassifikationssymbole ) 

IPK 7 G06K 



Recherchierte aber nicht zum Mindestprufstoff gehdrende Veroffentlichungen, soweit diese unter die recherchierten Gebiete fallen 



Wahrend der internationalen Recherche konsuitierte elektronische Datenbank (Name der Datenbank und evtl. verwendete Suchbegriffe) 



C. ALS WESENTLICH ANGESEHENE UNTERLAGEN 



Kategorie* 


Bezeichnung der Veroffentlichung. soweit erforderiich unter Angabe der in Betracht kommenden Teile 


Betr. Anspruch Nr. 


X 


EP 0 702 329 A (COMPAQ COMPUTER CORP) 


1,4 




20. Marz 1996 (1996-03-20) 




das ganze Dokument 




A 


SENIOR A W ET AL: "AN OFF-LINE CURSIVE 


1-4 




HANDWRITING RECOGNITION SYSTEM" 






IEEE TRANSACTIONS ON PATTERN ANALYSIS AND 






MACHINE INTELLIGENCE'S, IEEE INC. NEW 






YORK, 






Bd. 20, Nr. 3, Seite 309-321 XP000767920 






ISSN: 0162-8828 






Section 2.2 "Baseline Estimation and 






Slope Correction" 






Abb il dung 4 






-/-- 





rj 



Weitere Veroffentlichungen sind der Fortsetzung von Feld C zu 
entnehmen 



SieheAnhang Patentfamilie 



0 Besondere Kategorien von angegebenen Veroffentlichungen 
"A" Veroffentlichung, die den allgemeinen Stand der Technik definiert, 
aber nicht als besonders bedeutsam anzusehen ist 

"E" alteres Dokument, das jedoch erst am oder nach dem internationalen 
Anmeldedatum veroffentlicht worden ist 

"L" Veroffentlichung, die gee ig net ist, einen Prioritatsanspruch zweifelhaft er- 
scheinen zu lassen, oder durch die das Veroffentlichungsdatum einer 
anderen im Recherchenbericht genannten Veroffentlichung belegt werden 
soli oder die aus einem anderen besonderen Grund angegeben ist (wie 
ausgefuhrt) 

"O" Veroffentlichung. die sich auf eine mundliche Offenbarung, 

eine Benutzung, eine Ausstellung oder andere Ma3nahmen bezieht 
"P" Veroffentlichung, die vor dem internationalen Anmeldedatum, aber nach 
dem beanspruchten Prioritatsdatum veroffentlicht worden ist 



" Spatere Veroffentlichung, die nach dem internationalen Anmeldedatum 
oder dem Prioritatsdatum veroffentlicht worden ist und mit der 
Anmeldung nicht kollidiert. sondern nur zum Verstandnis des der 
Erfindung zugrundeliegenden Prinzips oder der ihr zugrundeliegenden 
Theorie angegeben ist 

" Veroffentlichung von besonderer Bedeutung; die beanspruchte Erfindung 
kann allein aufgrund dieser Veroffentlichung nicht als neu oder auf 
erfinde risen er Tatigkeit beruhend betrachtet werden 

" Veroffentlichung von besonderer Bedeutung; die beanspruchte Erfindung 
kann nicht als auf erfinderischer Tatigkeit beruhend betrachtet 
werden, wenn die Veroffentlichung mit einer oder mehreren anderen 
Veroffentlichungen dieser Kategorie in Verbindung gebracht wird und 
diese Verbindung fur einen Fachmann naheliegend ist 

" Veroffentlichung, die Mitglied derselben Patentfamilie ist 



Datum des Abschlusses der internationalen Recherche 

20. Dezember 1999 


Absendedatum des internationalen Recherchenberichts 

11/01/2000 


Name und Postanschrift der Internationalen Recherchenbehorde 
Europaisches Patentamt. P.B. 5818 Patenttaan 2 
NL - 2280 HV Rijswijk 
Tel. (+31-70) 340-2040. Tx. 31 651 epo nl. 
Fax: (+31-70) 340-3016 


Bevollmachtigter Bediensteter 

Granger, B 
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INTERN ATIONALER RECHERCHENBERICHT 



I Internationales Aktenzeichen 

T/EP 99/06842 



C.(Fortsetzung) ALS WESENTLICH ANGESEHENE UNTERLAGEN 



Kategorie* Bezeichnung der Veroffentlichung, soweit erfordertich unter Angabe der in Betracht kommenden Teile 



Betr. Anspruch Nr. 



PAVLIDIS T ET AL: "PAGE SEGMENTATION AND 
CLASSIFICATION" 

CVGIP GRAPHICAL MODELS AND IMAGE 
PROCESSING, US, ACADEMIC PRESS, DULUTH, MA, 
Bd. 54, Nr. 6, Seite 484-496 XP000332317 

ISSN: 1077-3169 
Section "3. The Basics of Segmentation by 
White Streams" 

LE D S ET AL: "AUTOMATED PAGE ORIENTATION 
AND SKEW ANGLE DETECTION FOR BINARY 
DOCUMENT IMAGES" 

PATTERN RECOGNITION, US, PERGAMON PRESS INC. 
ELMSFORD, N.Y, 

Bd. 27, Nr. 10, Seite 1325-1343 
XP000477897 

ISSN: 0031-3203 

Abbi Idling 5 



Formblatl PCT/ISA/210 (Foitsetzung von Bfcatt 2) (Juli 1992) 
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INTERNATIONAL SEARCH REPORT 

giation on patent family members 



Patent document 
cited in search report 



EP 0702329 



international Application No 

T/EP 99/06842 



Publication 
date 



Patent family 
member(s) 



Publication 
date 



20-03-1996 



US 
CA 
JP 



5633957 A 
2157646 A 
8227338 A 



27-05-1997 
17-03-1996 
03-09-1996 



Form PCT/1SA/210 (patent family annex) (July 1992) 



VERTRAG UBEWlE INTERNATIONALE ZUS^MfcNARBEIT AUF Db 

GEBIET DES PATENTWESEN^rec D 2 2 DEC 2000 

PCT 



M 



Vv'lPO 



PCT 



INTERNATIONALER vorlaufiger prufungsbericht 



(Artikel 36 und Regel 70 PCT) 



) 



Aktenzeichen des Anmelders Oder Anwalts 
GR 98 P 7016 P 


siehe Mitteilung Ober die Obersendung des intemationalen 
WEITERES VORGEHEN voriaufigen Prufungsberichts (Formblatt PCT/1PEA/416) 


Internationales Aktenzeichen 
PCT/EP99/06842 


Internationales Anmeldedatum (Tag/Monat/Jahr) 
16/09/1999 


Prioritatsdatum (Tag/Monat/Tag) 
30/09/1998 



Internationale Patentklassifikation (IPK) Oder nationale Klassifikation und IPK 
G06K9/32 



Anmelder 

SIEMENS AKTIENGESELLSCHAFT OSTERREICH et al. 



1 . Dieser internationale vorlaufige Prufungsbericht wurde von der mit der intemationalen voriaufigen Prufung beauftragten 
Behorde erstellt und wird dem Anmelder gemaB Artikel 36 ubermittelt. 



2. Dieser BERICHT umfaBt insgesamt 4 Blatter einschlieGlich dieses Deckblatts. 

S AuBerdem liegen dem Bericht ANLAGEN bei; dabei handelt es sich urn Blatter mit Beschreibungen, Anspruchen 
und/oder Zeichnungen, die geandert wurden und diesem Bericht zugrunde liegen, und/oder Blatter mit vor dieser 
Behorde vorgenommenen Berichtigungen (siehe Regel 70.16 und Abschnitt 607 der Verwaltungsrichtlinien zum PCT). 

Diese Anlagen umfassen insgesamt 3 Blatter. 



3. Dieser Bericht enthalt Angaben zu folgenden Punkten: 



II 


□ 


III 


□ 


IV 


□ 


V 




VI 


□ 


VII 


□ 


VIII 


□ 



Grundlage des Berichts 
Prioritat 

Keine Erstellung eines Gutachtens uber Neuheit, erfinderische Tatigkeit und gewerbliche Anwendbarkeit 
Mangelnde Einheitlichkeit der Erfindung 

Begrundete Feststellung nach Artikel 35(2) hinsichtlich der Neuheit, der erfinderischen Tatigkeit und der 
gewerblichen Anwendbarkeit; Unterlagen und Erklarungen zur Stutzung dieser Feststellung 

Bestimmte angefuhrte Unterlagen 

Bestimmte Mangel der intemationalen Anmeldung 

Bestimmte Bemerkungen zur intemationalen Anmeldung 



Datum der Einreichung des Antrags 



03/04/2000 



Datum der Fertigstellung dieses Berichts 



20.12.2000 



Name und Postanschrifi der mit der intemationalen voriaufigen 
Prufung beauftragten Behorde: 
Europaisches Patentamt 

D-80298 Munchen 
Tel. +49 89 2399 - 0 Tx: 523656 epmu d 

Fax: +49 89 2399 - 4465 



Bevollmachtigter Bediensteter 
Kessler, C 

Tel. Nr. +49 89 2399 2582 




Formblatt PCT/I PEA/409 (Deckblatt) (Januar 1994) 



INTERNATIONALER VORLAUFIGER 
PRUFUNGSBERICHT 



Internationales Aktenzeichen PCT/EP99/06842 



I. Grundlage des Berichts 

1 . Dieser Bericht wurde erstellt auf der Grundlage (Ersatzblatter, die dem Anmeldeamt auf eine Aufforderung nach 
Artikel 14 hin vorgelegt warden, gelten im Rahmen dieses Berichts als "ursprunglich eingereicht" und sind ihm 
nicht beigefugt, we/7 sie kerne Anderungen enthalten.): 
Beschreibung, Seiten: 

3-7 ursprungliche Fassung 

1 2 eingegangen am 31/08/2000 mit Schreiben vom 29/08/2000 

Patentanspruche, Nr.: 

1-3 eingegangen am 31/08/2000 mit Schreiben vom 29/08/2000 

Zeichnungen, Blatter: 

1 ursprungliche Fassung 



2. Hinsichtlich der Sprache: Alle vorstehend genannten Bestandteile standen der Behorde in der Sprache, in der 
die internationale Anmeldung eingereicht worden ist, zur Verfugung oder wurden in dieser eingereicht, sofern 
unter diesem Punkt nichts anderes angegeben ist. 

Die Bestandteile standen der Behorde in der Sprache: zur Verfugung bzw. wurden in dieser Sprache 
eingereicht; dabei handelt es sich um 

□ die Sprache der Ubersetzung, die fur die Zwecke der internationalen Recherche eingereicht worden ist (nach 
Regel 23.1(b)). 

□ die Veroffentlichungssprache der internationalen Anmeldung (nach Regel 48.3(b)). 

□ die Sprache der Ubersetzung, die fur die Zwecke der internationalen vorlaufigen Prufung eingereicht worden 
ist (nach Regel 55.2 und/oder 55.3). 

3. Hinsichtlich der in der internationalen Anmeldung offenbarten Nucleotid- und/oder Aminosauresequenz ist die 
internationale vorlaufige Prufung auf der Grundlage des Sequenzprotokolls durchgefuhrt worden, das: 

□ in der internationalen Anmeldung in schriftlicher Form enthalten ist. 

□ zusammen mit der internationalen Anmeldung in computerlesbarer Form eingereicht worden ist. 

□ bei der Behorde nachtraglich in schriftlicher Form eingereicht worden ist. 

□ bei der Behorde nachtraglich in computerlesbarer Form eingereicht worden ist. 

□ Die Erklarung, daf3 das nachtraglich eingereichte schriftliche Sequenzprotokoll nicht uber den 
Offenbarungsgehalt der internationalen Anmeldung im Anmeldezeitpunkt hinausgeht, wurde vorgelegt. 

□ Die Erklarung, da(3 die in computerlesbarer Form erfassten Informationen dem schriftlichen 
Sequenzprotokoll entsprechen, wurde vorgelegt. 



Formblatt PCT/IPEA/409 (Felder l-VIII, Blatt 1) (Juli 1998) 



INTERNATIONALER VORLAUFIGER 
PRUFUNGSBERICHT 



Internationales Aktenzeichen PCT/EP99/06842 



4. Aufgrund der Anderungen sind folgende Unterlagen fortgefallen: 

□ Beschreibung, Seiten: 

H Anspruche, Nr.: 4 

□ Zeichnungen, Blatt: 

5. □ Dieser Bericht ist ohne Berucksichtigung (von einigen) der Anderungen erstellt worden, da diese aus den 

angegebenen Grunden nach Auffassung der Behdrde Qber den Offenbarungsgehalt in der ursprunglich 
eingereichten Fassung hinausgehen (Regel 70.2(c)). 

(Auf Ersatzblatter, die solche Anderungen enthalten, ist unter Punkt 1 hinzuweisen;sie sind diesem Bericht 
beizufugen). 



6. Etwaige zusatzliche Bemerkungen: 



V. Begrundete Feststellung nach Artikel 35(2) hinsichtlich der Neuheit, der erfinderischen Tatigkeit und der 
gewerblichen Anwendbarkeit; Unterlagen und Erklarungen zur Stutzung dieser Feststellung 

1. Feststellung 

Neuheit (N) Ja: Anspruche 1-3 

Nein: Anspruche 

Erf inderische Tatigkeit (ET) Ja: Anspruche 1 -3 

Nein: Anspruche 

Gewerbliche Anwendbarkeit (GA) Ja: Anspruche 1-3 

Nein: Anspruche 



2. Unterlagen und Erklarungen 
siehe Beiblatt 



Fomiblatt PCT/I PEA/409 (Felder l-Vlll, Blatt 2) (Juli 1998) 



INTERN ATIONALER VORLAUFIGER Internationales Aktenzeichen PCT/EP99/06842 
PRUFUNGSBERICHT - BEIBLATT 



Zu Punkt V 

Begrundete Feststellung nach Artikel 35(2) hinsichtlich der Neuheit, der 
erfinderischen Tatigkeit und der gewerbiichen Anwendbarkeit; Unterlagen und 
Erklarungen zur Stutzung dieser Feststellung 

1 . Gebiet : Automatische Texterkennung. 

2. Aufqabe : Bestimmung der Lage von Textzeilen auf einer Vorlage. 

3. Nachstkommender Stand der Technik : EP-A-0 702 329 beschreibt ein Verfahren 
entsprechend dem Oberbegriff des Anspruchs 1 : die Helligkeitsverteilung eines 
erfassten Bildausschnittes wird entlang der Vertikale ermittelt (durch Histogramme 
entlang der Zeilen, siehe die Zusammenfassung, dritter Satz) und diese 
Helligkeitsverteilung wird gefiltert ("moving average", vierter Satz der 
Zusammenfassung). Die Maximum- und Minimumwerte der solcherart erhaltenen 
Funktion werden ermittelt (Spalte 5, Zeilen 21-33 und Spalte 9, Zeilen 27-41 , 
sowie Figuren 4 und 5) und auf der Grundlage dieser Extrema werden 
Schwellwerte berechnet, die als Grundlage fur die Unterscheidung zwischen 
Textzeile ("baseline") und Zeilenzwischenraum dienen (die Berechnung ist eine 
Gleichsetzung, und das Minimum wird durch die Durchschnittsbildung im Falle 
von Auf- oder Abstrichen als Plateau erkannt). 

4. Losuna : Ein Zwischenraum wird gefunden, wenn eine Kombination von einem 
(lokalen) Maximum mit einem Minimum vorliegt, die einer bestimmten Formel 
ausgehend von den (globalen) Maxima und Minima und der Bildauschnittbreite 
entspricht. 

5. Erfinderische Tatiakeit : Diese Formel wird von keinem verfugbaren Dokument 
nahegelegt. 



Formblatt PCT/Beiblatt/409 (Blatt 1) (EPA-April 1997) 
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Verfahren zur Bestimmung der Lage von Textzeilen bei 
Texterkennungsauf gaben 

Die Erfindung betrifft ein Verfahren zur Bestimmung der Lage 
5 von Textzeilen bei Texterkennungsauf gaben, bei dem die 

Helligkeitsverteilung eines erfafiten Bildausschnittes entlang 
der Vertikale durch Histogrammbildung entoang der Zeilen 
ermittelt wird und diese Helligkeitsverteilung geglattet 
wird, bei dem Maximumwert und Minimumwert der solcherart 
10 erhaltenen Funktion ermittelt werden und auf der Grundlage 
dieser Extrema Schwellwerte berechnet werden, die als 
Grundlage fur die Unterscheidung zwischen Textzeile und 
Zeilenzwischenraum dienen. 

15 Bei der automatischen Erkennung von Texten, d.h. bei der 
Umwandlung der grafischen Information eines Dokumentes in 
Textzeichen, die mittels elektronischen Textverarbeitungs- 
programmen weiterverarbeitet werden konnen, ist eine 
wesentliche Voraussetzung fur einen erf olgreichen 

20 Erkennungsvorgang die genaue Bestimmung der Lage und der 

Grofce der einzelnen Zeichen. Voraussetzung dafur ist wiederum 
die Kenntnis der Lage und der Malbe der Textzeilen. 

Bei handgefuhrten Lesevorrichtungen kommt es uberdies zu 
25 einem nichtlinearen Verlauf der Textzeilen in dem erfaftten 
Bildausschnitt . Hier besteht die Notwendigkeit , den Verlauf 
einer Textzeile zu bestimmen. 

Ein Verfahren der eingangs genannten Art ist aus der 
30 EP 0702 329 A2 bekannt. Diese Schrift beschreibt ein 
Verfahren und eine Vorrichtung zur Bestimmung des 
Zeilenverlauf es bei handschrif tlichen Auf zeichnungen. Dabei 
werden nach dieser Schrift zeilenweise die Bildpunkte 
summiert geglattet und zur Bestimmung der Position der Zeilen 
35 analysiert. 
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Der Erfindung liegt die Aufgabe zugrunde, dieses Verfahren zu 
verbessern. 

Dies geschieht erf indungsgem&IJ mit einem Verfahren der 
5 eingangs genannten Art, bei dem ein Zeilenzwischenraum dann 
f estgestellt wird, wenn die Funktion eine Kombination eines 
Maximums mit einem Minimum aufweist, bei der das Minimum 
einen Wert kleiner als Funktionsminimum + Anzahl der 
Bildpunkte uber die Breite des Bildausschnittes/15 + 2*Anzahl 

10 der Bildpunkte uber die Breite des Bildausschnittes/15 * 

Funktionsmaximum/ Anzahl der Bildpunkte uber die Breite des 
Bildausschnittes aufweist und der Abfall der Funktionswerte 
nach dem Maximum einen Wert grofler (Funktionsmaximum - 
Funktlonsminimum) /2 aufweist. Diese Ausgestaltung hat sich in 

15 der Praxis durch sehr gute Ergebnisse bewahrt. 

Vorteilhaft ist eine Ausgestaltung des Verfahrens in der 
Weise, dafl zur Feststellung des linken Rands einer Zeile die 
Helligkeitsverteilung eines erfafiten Bildausschnittes entlang 

20 der Horizontale ermittelt wird und die solcherart erhaltene 
Funktion den Zeilenbeginn durch einen sprunghaften Anstieg 
des Funktionswertes darstellt. Damit ist der Zeilenbeginn auf 
einfache Weise mit geringem Auf wand zu ermitteln. Weiterhin 
kann fur die Ermittlung der Lage der Textzeilen gewahrleistet 

25 werden, dafl dabei nur Bilder beriicksichtigt werden, die 

tatsachlich Textzeilen enthalten und ein Benutzerf ehler wie 
z.B. das Ansetzen des Lesestiftes zu weit links von dem 
Zeilenbeginn die Zeilenermittlung nicht beeinfluflt. 

30 Giinstig ist es, wenn nach der erstmaligen Feststellung der 
Lage einer Zeile der weitere Verlauf derselben durch 
Auswertung der Information uber die erkannten Textzeichen 
ermittelt wird. Durch die Auswertung des Ergebnisses der 
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5 Neue Patentanspruche 

1) Verfahren zur Bestimmung der Lage von Textzeilen bei 
Texterkennungsaufgaben bei dem die Helligkeitsverteilung 
eines erfaBten Bildausschnittes entlang der Vertikale durch 

10 Histogrammbildung entlang der Zeilen ermittelt wird und diese 
Helligkeitsverteilung geglattet wird, bei dem Maximumwerte 
•und Minimumwerte der solcherart erhaltenen Funktion ermittelt 
werden und auf der Grundlage dieser Extrema Schwellwerte 
berechnet werden die als Grundlage fur die Unterscheidung 

15 zwischen Textzeile und Zeilenzwischenraum dienen, dadurch 

gekennzeichnet, dafl ein Zeilenzwischenraum dann festgestellt 
wird, wenn die Funktion eine Kombination eines Maximums mit 
einem Minimum aufweist, bei der das Minimum einen Wert 
kleiner als 

20 Funktionsminimum + Anzahl der Bildpunkte uber die Breite des 
Bildausschnittes/15 + 2*Anzahl der Bildpunkte uber die Breite 
des Bildausschnittes/15 * Funktionsmaximum/Anzahl der 
Bildpunkte uber die Breite des Bildausschnittes aufweist und 
der Abfall der Funktionswerte nach dem Maximum einen Wert 

25 grofier (Funktionsmaximum - Funktionsminimum) / 2 aufweist. 

2) Verfahren nach Anspruch 1, dadurch gekennzeichnet , daB zur 
Feststellung des linken Rands einer Zeile die 

Helligkeitsverteilung eines erfafiten Bildausschnittes entlang 
30 der Horizontale ermittelt wird und die solcherart erhaltene 
Funktion den Zeilenbeginn durch einen sprunghaften Anstieg 
des Funktionswertes darstellt. 

3) Verfahren nach einem der Anspruche 1 oder 2, dadurch 
35 gekennzeichnet, dafi nach der erstmaligen Feststellung der 

Lage einer Zeile der weitere Verlauf derselben durch 
Auswertung der Information uber die erkannten Textzeichen 
ermittelt wird. 
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Patent claims 

1) Method for determining the position of text lines in text 
recognition tasks, characterized in that the brightness 
distribution of a captured image excerpt along the vertical 
is determined and this brightness distribution is filtered, 
in that maxima and minima of the function obtained in this 
way are determined and, on the basis of these extreraa, 
threshold values are calculated which serve as a basis for 
distinguishing between text line and line interspace. 

2) Method according to Claim 1, characterized in that a line 
interspace is ascertained when the function has a combination 
of a maximum with a minimum in which the minimum has a value 
of less than 

function minimum + number of pixels over the width of the 
image excerpt/15 + 2*number of pixels over the width of the 
image excerpt/15 * function maximum/number of pixels over the 
width of the image excerpt, and 

the decrease in the function values after the maximum has a 
value of greater than (function maximum - function 
minimum) / 2 . 

3) Method according to Claim 1 or 2 characterized in that in 
order to ascertain the left-hand edge of a line, the 
brightness distribution of a captured image excerpt along the 
horizontal is determined and the function obtained in this 
way represents the beginning of a line by an abrupt rise in 
the function value. 

4) Method according to one of Claims 1 to 3, characterized in 
that after the position of a line has initially been 
ascertained, the further profile of the said line is 
determined by evaluating the information concerning the text 
characters recognized . 
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recognition operation is made possible. This is important 
particularly in the case of readers which are provided with 
only limited electronic memories and therefore require the 
memory-intensive image information to be rapidly converted 
into text information- actually while the image is being 
recorded . 



Advantage is afforded by a refinement of the method wherein a 
line interspace is ascertained when the function has a 
10 combination of a maximum with a minimum in which the minimum 
has a value of less than 

function minimum + nu/nber of pixels over the width of the 
image excerpt/15 + 2*number of pixels over the width of the 
image excerpt/15 * function maximum/number of pixels over the 
15 width of the image excerpt, and 

the decrease in the function values after the maximum has a 
value of greater than (function maximum - function 
minimum) /2 . This refinement has proved worthwhile in practice 
by giving very good results. 

20 

Advantage is likewise afforded by a further refinement of the 
method wherein in order to ascertain the left-hand edge of a 
line, the brightness distribution of a captured image excerpt 
along the horizontal is determined and the function obtained 

25 in this way represents the beginning of a line by an abrupt 
rise in the function value. The beginning of a line can thus 
be determined in a simple manner with little complexity. 
Furthermore, for the determination of the position of the 
text lines, it can be ensured that in this case only images 

30 which actually contain text lines are taken into 

consideration and a user error, such as e.g. positioning the 
reading pen too far to the left of the beginning of a line, 
does not influence the determination of the line. 



35 



It is expedient if after the position of a line has initially 
been ascertained, the further course of the said line is 
determined by evaluating the information concerning the text 



REPLACED BY 

gr 98 p 7016 p_ ART 3MMDT 09/806542 



3Mj\/! 

X08 



Rec'd PCT/PTO 3 OMAR 200! 

Method for determining the position of text lines in text 
recognition tasks 

The invention relates to a method for determining the 
position of text lines in text recognition tasks. 

In the case of the automatic recognition of texts, that is to 
say in the case of the conversion of the graphical 
information of a document into text characters which can be 
further processed by means of electronic text processing 
programs, an essential prerequisite for a successful 
recognition operation is that the position and the size of 
the individual characters be determined accurately. This 
presupposes in turn that the position and the dimensions of 
the text lines be known. 

In the case of manually guided readers, moreover, the profile 
of the text lines in the captured image excerpt turns out to 
be non-linear. In this context, there is a need to determine 
the profile of a text line. 

The invention is based on the object, therefore, of 
specifying a method which enables the position and profile of 
text lines to be determined. 

This is done according to the invention by means of a method 
of the type mentioned in the introduction in which the 
brightness distribution of a captured image excerpt along the 
vertical is determined and this brightness distribution is 
filtered, in which maximum and minimum of the function 
obtained in this way are determined and, on the basis of 
these extrema, threshold values are calculated which serve as 
a basis for distinguishing between text line and line 
interspace. The method according to the invention makes it 
possible to ascertain the line position and height with 
little complexity and thus very rapidly, this information 
thereby being obtained directly, as a result of which a fast 



GR 98 P 7016| 



Method for determining the position of text lines in text 
recognition tasks 

The invention relates to a method for determining the 
5 position of text lines in text recognition tasks. 

In the case of the automatic recognition of texts, that is to 
say in the case of the conversion of the graphical 
information of a document into text characters which can be 

10 further processed by means of electronic text processing 
programs, an essential prerequisite for a successful 
recognition operation is that the position and the size of 
the individual characters be determined accurately. This 
presupposes in turn that the position and the dimensions of 

15 the text lines be known. 

In the case of manually guided readers, moreover, the profile 
of the text lines in the captured image excerpt turns out to 
be non-linear. In this context, there is a need to determine 
20 the profile of a text line. 

The invention is based on the object, therefore, of 
specifying a method which enables the position and profile of 
text lines to be determined. 

25 

This is done according to the invention by means of a method 
of the type mentioned in the introduction in which the 
brightness distribution of a captured image excerpt along the 
vertical is determined and this brightness distribution is 

30 filtered, in which maximum and minimum of the function 

obtained in this way are determined and, on the basis of 
these extrema, threshold values are calculated which serve as 
a basis for distinguishing between text line and line 
interspace. The method according to the invention makes it 

35 possible to ascertain the line position and height with 

little complexity and thus very rapidly, this information 
thereby being obtained directly, as a result of which a fast 
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recognition operation is made possible. This is important 
particularly in the case of readers which are provided with 
only limited electronic memories and therefore require the 
memory-intensive image information to be rapidly converted 
into text information actually while the image is being 
recorded. 

Advantage is afforded by a refinement of the method wherein a 
line interspace is ascertained when the function has a 
combination of a maximum with a minimum in which the minimum 
has a value of less than 

function minimum + number of pixels over the width of the 
image excerpt/15 + 2*number of pixels over the width of the 
image excerpt/ 15 * function maximum/ number of pixels over the 
width of the image excerpt, and 

the decrease in the function values after the maximum has a 
value of greater than (function maximum - function 
minimum) /2 . This refinement has proved worthwhile in practice 
by giving very good results. 

Advantage is likewise afforded by a further refinement of the 
method wherein in order to ascertain the left-hand edge of a 
line, the brightness distribution of a captured image excerpt 
along the horizontal is determined and the function obtained 
in this way represents the beginning of a line by an abrupt 
rise in the function value. The beginning of a line can thus 
be determined in a simple manner with little complexity. 
Furthermore, for the determination of the position of the 
text lines, it can be ensured that in this case only images 
which actually contain text lines are taken into 
consideration and a user error, such as e.g. positioning the 
reading pen too far to the left of the beginning of a line, 
does not influence the determination of the line. 

It is expedient if after the position of a line has initially 
been ascertained, the further course of the said line is 
determined by evaluating the information concerning the text 
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characters recognized. Evaluating the results of the 
character classification enables the line profile to be / 
determined particularly accurately. 

The invention is explained in more detail with reference to 
figures, in which, by way of example: 

Figure 1 shows a text excerpt of the kind that is typically 
captured by a manually guided reader, and also the histogram 
determined therefrom and 

Figure 2 shows the filtered histogram with the parameters 
entered for the assessment of the image. 

The sequence of the method according to the invention is as 
follows : 

A line histogram is determined for the captured image 

excerpt. In this case, for each line, the values of all the 

pixels of this line (0 for white and 1 for black) are summed. 

The result is a function f (y) with 
mdth~\ 

f(y) = ^(BlackPixel) where 

/=0 



y denotes the line index of the image 

Width indicates the width (number of columns) of the 

image excerpt 

When a text is present, this function has a typical profile 

as illustrated by way of example in Figure 1. In a further 

step, filtering is carried out in accordance with 
+5 



£(/C+0*G<0) 



riy)'" — 



i=-5 



where 

y index in the line histogram 
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4 



G weighting corresponding to an exponential smoothing 

curve 

i index of the smoothing curve 



5 During the filtering operation, the absolute maximum Valuemax 
i.e. the number of black pixels of the darkest line and the 
absolute minimum Valuemin i.e. the number of black pixels in 
the brightest line are also determined. 

10 Parameters for the assessment of the image are derived from 
these two values. The said parameters are: 

Trough limit = (Valuemax - Valuemin) /2 

but at least number of pixels over the width of the Image 
15 excerpt/30 

Minima edge — Valuemin -f number of pixels over the width of 
the image excerpt/15 

but at most 2* number of pixels over the width of the image 
20 excerpt/15 

Minima threshold = minimum edge + (2* number of pixels over 
the width of the image excerpt/15 * (Valuemax/ number of 
pixels over the width of the image excerpt) ) 
25 but at most 3* number of pixels over the width of the image 
excerpt/15 

Using the function f (y) and the threshold values determined, 
as are illustrated by way of example in Figure 2, the 
30 captured image is then assessed with regard to the presence 
of text lines and line interspaces. 

For this purpose, the curve profile is examined to see 
whether values which are smaller than the parameter minima 
35 threshold are present. If this is the case, then the relevant 
area is qualified as a valid minimum and thus as a possible 
line interspace. 



GR 98 P 701 



5 



An actual line interspace is present, however, only when the 
presence of a text line is indicated by an adjoining maximum 
with a certain characteristic value. These valid maxima are 
defined by subsequent decreasing of the curve value by a 
5 magnitude > Trough limit. 

The coincidence of a valid maximum with a valid minimum 
characterizes the transition from a text line to a line 
interspace. The parameter Minima edge serves for accurately 
10 determining this transition. 

The point at which the curve intersects this threshold 
between a valid maximum and a valid minimum is defined as a 
line edge. 

15 

In order to determine the left-hand edge of a line, a column 
histogram is created in accordance with 

Height-! 

/(jc)= 2l(BlackPixel) 

i=0 

20 x ...column index of the image excerpt 

Height . ...image height 

in words the colour information of the pixels of each column 
of the captured image excerpt is summed. The left-hand text 
25 edge is defined (given the presence of at least one line) by 
an abrupt rise in the function value f(x). 

The follow-up plotting of the lines, that is to say the 
information concerning the further profile of the lines, 
30 which is important particularly in the case of manually 

guided readers on account of the fluctuations that occur with 
the latter, is effected on the basis of the position of the 
recognized characters . 

35 For this purpose, the recognized characters are classified 
into the following size groups: 
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Small characters (for example "a 
Large characters (for example "A 



g") 



0.7*line height 
line height 



10 



15 



20 



25 



Oversize characters (for example "t xx /"j") line height 
+0.3*line height (descenders) 

Special characters: the characters cannot be unambiguously 
assigned by size. 

The following character groups are differentiated for the 
determination of the new lower edge of the text line: 

Baseline characters (for example "A", "."): the lower edge of 
the character corresponds to the lower edge of the text line, 
irrespective of the size of the character; 

Descender characters (for example "g", "["): the lower edge 
of the character corresponds to the descender boundary, 
irrespective of the size of the character; 

Special characters: these characters cannot be unambiguously 
assigned with regard to their lower edge. 

On the basis of these assignments and a probability value G 
relating to the correct classification of the character, the 
said probability value being obtained in the course of the 
classification method, the new line height Height is then 
determined as follows: 



G = Probability * C YC_MAX_WEIGHT 



CYC.MAX EXTRPAR-1 



2 OldHeight[i] + NewHeight * G 



Height = 



CYC MAX EXTRPAR + G 



G 



weighing of the line height derived 



from the current character 



Probability probability of correct character 

classification (range of values between 0 and 1) 
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CYC_MAX_WEIGHT maximum weighing of the new 

character position (for example: 5) 

Height subsequently plotted line height 

(upper case letter height) 
5 C YC_MAX_E X T R PAR size of the ring buffer for the 

averaging (for example: 3) 
OldHeightU ring buffer 

NewHeight line height derived from the current 

character (upper case letter height) 
10 i index in the ring buffer 

The profile of the lower edge of the text line is determined 
in accordance with: 



15 G = 



20 



' 1 ^ 



Probability + 



Increase = 



Base = NewBase + - 



CYC_MAX_WEIGHT 

Oldlncrease + Newlncrease * G 
1 + G 

Increase * DeltaX + 50 



*CYC MAX WEIGHT 



100 



G weighing of the new character position 

Probability probability of correct character 

classification 

CYC_MAX_WEIGHT maximum weighting of the new character 

25 position (for example: 5) 

Increase subsequently plotted current gradient of 

the baseline in % 

Oldlncrease previous gradient of the baseline in % 

Newlncrease gradient of the base line in % calculated 

30 from the position of the current character 

Base subsequently plotted baseline position 

(rounded to an integer value) 

NewBase baseline position calculated from the 

position of the current character 



GR 98 P 701] 



DeltaX X-separation in the image between the two 

centre points of the characters extracted last. 

The "Increase" is limited by the plausibility limit 
5 CYC MAX_L I NE OFFSET (in the Pocket Reader: 15%). 
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Patent claims 

1) Method for determining the position of text lines in text 
recognition tasks, characterized in that the brightness 

5 distribution of a captured image excerpt along the vertical 
is determined and this brightness distribution is filtered, 
in that maxima and minima of the function obtained in this 
way are determined and, on the basis of these extrema, 
threshold values are calculated which serve as a basis for 
10 distinguishing between text line and line interspace. 

2) Method according to Claim 1, characterized in that a line 
interspace is ascertained when the function has a combination 
of a maximum with a minimum in which the minimum has a value 

15 of less than 

function minimum + number of pixels over the width of the 
image excerpt/15 + 2*number of pixels over the width of the 
image excerpt/ 15 * function maximum/ number of pixels over the 
width of the image excerpt, and 

20 the decrease in the function values after the maximum has a 
value of greater than (function maximum - function 
minimum) /2. 

3) Method according to Claim 1 or 2 characterized in that in 
25 order to ascertain the left-hand edge of a line, the 

brightness distribution of a captured image excerpt along the 
horizontal is determined and the function obtained in this 
way represents the beginning of a line by an abrupt rise in 
the function value. 

30 

4) Method according to one of Claims 1 to 3, characterized in 
that after the position of a line has initially been 
ascertained, the further profile of the said line is 
determined by evaluating the information concerning the text 

35 characters recognized. 
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Abstract 

A method for determining the position of text lines in text 
recognition tasks as specified in which the brightness 
5 distribution of a captured image excerpt along the vertical 
is determined and this brightness distribution is filtered, 
in which maxima and minima of the function obtained in this 
way are determined and, on the basis of these extrema, 
threshold values are calculated which serve as a basis for 
10 distinguishing between text line and line interspace. 

The method can be used particularly advantageously in the 
case of manually guided electronic readers. 
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Method for determining the position of text lines in text 
recognition tasks 



The invention relates to a method for determining the position 
of text lines in text recognition tasks, whereby the 
brightness distribution of an acquired image excerpt along the 
vertical is determined by histogram formation along the lines, 
and this brightness distribution is smoothed, whereby maximum 
value and minimum value of the function obtained in this way 
are determined, and thresholds that serve as the basis for 
distinguishing between text line and text interspace are 
calculated on the basis of these extremes. 

In the case of the automatic recognition of texts, that is to 
say in the case of the conversion of the graphical information 
of a document into text characters which can be further 
15 processed by means of electronic text processing programs, an 
essential prerequisite for a successful recognition operation 
is that the position and the size of the individual characters 
be determined accurately. This presupposes in turn that the 
position and the dimensions of the text lines be known. 



5 



10 



20 In the case of manually guided readers, moreover, the profile 
of the text lines in the captured image excerpt turns out to 
be non-linear. In this context, there is a need to determine 
the profile of a text line. 



A method of the species initially cited is disclosed by EP 
25 0702 329 A2 . This publication discloses a method and an 

apparatus for determining the line course given handwritten 
documents. According to this publication, the picture 
elements are summed up line-by-line, smoothed and analyzed for 

r 

the determination of the position of the lines. 
3 0 The invention is based on the object of improving this method. 
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This is done according to the invention by means of a method 
of the type mentioned in the introduction wherein a line 
interspace is identified when the function comprises a 
combination of a maximum with a minimum, whereby the minimum 
5 comprises a value less than function minimum + plurality of 
picture elements over the width of the image excerpt/15 + 
2*plurality of the picture elements over the width of the 
image excerpt / 15 * function maximum / plurality of picture 
elements over the width of the image excerpt and the drop off 
10 of the function values after the maximum comprises a value 
greater than (function maximum - function minimum) /2 . This 
embodiment has proven itself in practice on the basis of very 
good results . 

Advantage is afforded by a refinement of the method wherein in 
15 order to ascertain the left-hand edge of a line, the 

brightness distribution of a captured image excerpt along the 
horizontal is determined and the function obtained in this way 
represents the beginning of a line by an abrupt rise in the 
function value. The beginning of a line can thus be determined 
20 in a simple manner with little complexity. Furthermore, for 

the determination of the position of the text lines, it can be 
ensured that in this case only images which actually contain 
text lines are taken into consideration and a user error, such 
as e.g. positioning the reading pen too far to the left of the 
25 beginning of a line, does not influence the determination of 
the line. 

It is expedient if after the position of a line has initially 
been ascertained, the further course of the said line is 
determined by evaluating the information concerning the text 
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New Patent Claims 

1) Method for determining the position of text lines in text 
recognition tasks, whereby the brightness distribution of an 
acquired image excerpt along the vertical is determined by 

5 histogram formation along the lines, and this brightness 

distribution is smoothed, whereby maximum value and minimum 
value of the function obtained in this way are determined, and 
thresholds that serve as the basis for distinguishing between 
text line and text interspace are calculated on the basis of 

10 these extremes, characterized in that a line interspace is 

ascertained when the function has a combination of a maximum 
with a minimum in which the minimum has a value of less than 
function minimum + number of pixels over the width of the 
image excerpt/15 + 2*number of pixels over the width of the 

15 image excerpt/15 * function maximum/number of pixels over the 
width of the image excerpt, and 

the decrease in the function values after the maximum has a 
value of greater than (function maximum - function minimum) /2. 

2) Method according to one of the Claims 1, characterized in 
20 that in order to ascertain the left-hand edge of a line, the 

brightness distribution of a captured image excerpt along the 
horizontal is determined and the function obtained in this way 
represents the beginning of a line by an abrupt rise in the 
function value. 



2 5 3) Method according to one of Claims lor 2, characterized in 
that after the position of a line has initially been 
ascertained, the further profile of the said line is 
determined by evaluating the information concerning the text 
characters recognized. 



